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摘 要 视听 跨 通道 对 应 (audiovisual crossmodal correspondence) 在 不 同类 型 的 视 、 听 刺激 之 
间 被 广泛 发 现 ， 但 其 发 生 阶段 尚 不 明确 。 研 究 采 用 线索 -靶子 范式 ， 探 究 返 回 抑制 
(inhibition of return, IOR) 对 于 视听 路 通 道 对 应 的 影响 。 实 验 1 操纵 线索 和 目标 之 间 的 空间 位 
置 一 致 性 和 听觉 音调 与 视觉 目标 位 置 之 间 的 跨 通 道 对 应 一 致 性 ， 结 果 发 现 IOR 效应 和 视听 
跨 通 道 对 应 存在 交互 作用 ， 线 索 化 位 置 存在 稳定 的 视听 跨 通 道 对 应 效应 ， 而 非 线索 化 位 置 
= 的 视听 跨 通道 对 应 效应 消失 。 实 验 2 操纵 无 关 听 觉 刺 激 是 否 出 现 ， 发 现 TOR 效应 与 单独 的 
声音 出 现 与 否 不 存在 交互 作用 ， 排 除了 警觉 效应 对 于 结果 的 混 消 。 实 验 3 通过 延长 线索 和 
目标 的 间隔 时 间 (stimulus onset asynchronies, SOA)， 发 现 伴随 着 IOR 效应 减弱 ， 线 索 化 位 
置 的 视听 跨 通 道 对 应 效应 也 相应 减弱 ， 且 TOR 效应 对 于 视听 跨 通 道 对 应 的 调节 作用 减弱 。 
究 表明 ， 仅 当 听 党 刺激 与 视觉 空间 位 置 之 间 发 生 跨 通道 对 应 时 ， 才 会 与 同样 发 生 在 知觉 
水 平 的 TOR 效应 产生 交互 ， 支 持 了 视听 跨 通道 对 应 发 生 在 知觉 阶段 。 同 时 研究 结果 支持 视 
听 跨 通道 对 应 的 发 生 符合 反比 效应 原则 。 
关键 词 视听 跨 通道 对 应 ， 返 回 抑制 ， 线 索 - 靶 子 范式 ， 警 觉 效 应 
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人 类 依靠 多 个 感觉 通道 去 感受 周围 的 坏 境 ， 不 同感 觉 通 道 间 信号 的 结合 会 促进 和 人 类 的 
m™, 


觉 反 应 增强 (Frassinetti et al., 2002; Stein et al., 1989). VATE 


对 于 多 感觉 反应 增强 的 研究 集中 于 多 感觉 整合 (McCracken et al., 2019; Starke et al., 2020). 
多 感觉 整合 是 指 当 不 同感 觉 通道 的 信息 具有 时 空 邻 近 性 时 ， 个 体 将 这 些 信息 进行 整合 以 形 


成 连贯 和 有 意义 的 表征 ( 彭 姓 等 ,2019; Tang et al., 2016)。 视 觉 和 听觉 输入 信息 的 整合 被 称 


为 视听 觉 整 合 (audiovisual integration)， 相 比 于 单一 视觉 或 听觉 ， 视 、 上 听 双 通道 的 整合 会 产 
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生 元 余 效 应 (redundant effecD， 促 进 被 试 对 于 双 通 道 刺激 的 探测 和 辨别 ( 彭 姓 等 , 2019; 唐 晓 


IS 等, 2020; Stein & Stanford, 2008; Talsma & Woldorff, 2005)。 如 相同 位 置 同时 呈现 的 视觉 
和 听觉 刺激 提供 了 相同 的 空间 和 时 间 信 息 ， 提 高 了 个 体 的 反应 能 力 (Spence, 2013)。 

以 往 研 究 发 现 ， 视 、 听 刺激 除了 以 一 种 元 余 的 方式 影响 被 试 的 反应 外 ， 还 能 以 一 种 非 
元 余 的 方式 对 被 试 的 反应 产生 影响 ， 即 视 、 听 刺激 提供 了 两 种 不 同 维度 的 信息 ， 但 却 相互 
映射 影响 当前 的 行为 ， 这 种 现象 被 称 为 视听 跨 通道 对 应 (audiovisual cross-modal 
correspondence)(Spence, 2011, 2019)。 一 种 常见 的 视听 跨 通 道 对 应 是 听觉 的 音调 与 视觉 的 空 
间 位 置 之 间 的 对 应 个体 倾 向 于 将 音调 较 高 的 声音 与 高 空间 位 置 相 映射 ， 而 将 音调 较 低 的 
声音 与 低空 间 位 置 相 映射 。 当 高 音 伴随 或 者 先 于 视觉 刺激 呈现 时 ， 被 试 对 于 高 空间 位 置 呈 
现 的 视觉 刺激 的 反应 快 于 低空 间 位 置 呈现 的 视觉 刺激 ， 反 之 亦 然 (Chiou & Rich, 2012; Evans 


& Treisman, 2010; McCormick et al., 2018; Spence, 2019; Zeljko et al., 2019)。 除 此 之 外 ， 音 调 


与 刺激 大 小 (Brunetti et al., 2018; Parise & Spence, 2008)、 音 调 与 亮度 (Maimon et al., 2020; 


Marks et al., 2003) 以 及 音调 与 空间 频率 (Evans & Treisman, 2010) 都 存在 视听 跨 通道 对 应 。 不 
同 于 视听 觉 整 合 所 需要 的 视觉 和 听觉 刺激 在 时 间 和 空间 上 相 邻 呈现 (Spence, 2013)， 视 听 跨 
通道 对 应 发 生 时 ， 视 觉 刺激 和 听觉 刺激 的 呈现 位 置 可 以 不 同 ， 呈 现 的 时 间 间 隔 也 可 以 相对 
更 长 (Chiou & Rich, 2012)。 视 听 路 通道 对 应 是 一 种 相对 的 映射 (Chiou & Rich, 2012)， 如 在 
音调 与 空间 位 置 的 跨 通 道 对 应 中 ， 不 存在 某 个 频率 的 音调 与 某 个 高 度 的 空间 位 置 之 间 的 绝 
对 的 映射 ， 而 是 存在 两 个 音调 中 相对 较 高 或 较 低 的 音调 与 两 个 位 置 中 相对 较 高 或 较 低 的 位 
置 之 间 的 映射 。 

现 有 研究 针对 视听 跨 通道 对 应 的 发 生 阶段 存在 不 同 观 点 。 第 一 种 观点 认为 ， 视 听 跨 通 
道 对 应 发 生 在 知觉 水 平 ， 即 视听 跨 通道 对 应 增加 了 刺激 的 感知 觉 显 著 性 (Evans & Treisman, 
2010)。 已 有 研究 发 现 当 被 试 观看 模糊 移动 的 光栅 时 ， 如 果 伴 随 着 音调 的 上 升 ， 被 试 更 倾向 
于 知觉 到 光栅 在 向 上 运动 ， 如 果 伴 随 着 音调 的 下 降 ， 被 试 更 倾向 于 知觉 到 光栅 在 向 下 运动 
(Maeda et al., 2004). ERP(event-related potential) 研 究 发 现 当先 前 呈现 的 声音 与 当前 视觉 符号 
存在 对 应 一 致 时 ， 视 觉 诱发 的 早期 知觉 成 分 N1 的 波幅 相 比 于 对 应 不 一 致 时 更 大 ， 支 持 了 
视听 跨 通 道 对 应 是 知觉 上 的 增强 (Kovié et al., 2010)。 第 二 种 观点 认为 ， 视 听 跨 通道 对 应 发 
生 在 语义 层面 (Spence, 2011)。 研 究 者 发 现在 几乎 所 有 的 语言 环境 中 ， 人 们 都 用 “高 入 
“ 低 ” 来 描述 不 同 频率 的 音调 ， 而 同样 的 词语 又 对 应 空间 位 置 的 高 和 低 ， 以 及 空间 频率 的 
高 和 低 ， 因 此 研究 者 认为 视 、 听 不 同 维度 刺激 相同 的 语义 编码 导致 了 视听 跨 通道 对 应 的 出 


现 (Walker 2012)。 研 究 者 用 “高 ”"“ 低 ”两 个 词 的 语音 代替 高 、 低 频率 的 音调 ， 发 现 了 语音 
与 空间 位 置 也 出 现 了 跨 通道 对 应 ， 支 持 了 视听 跨 通 道 对 应 发 生 在 语义 层面 的 观点 (Gallace & 
Spence, 2006)。 第 三 种 观点 认为 ， 视 听 跨 通道 对 应 发 生 在 晚期 决策 水 平 ， 即 一 个 通道 与 另 


一 个 通道 的 对 应 降低 了 对 于 所 呈现 目标 刺激 的 反应 标准 (Spence, 2011)。 研 究 者 使 用 信号 检 


co 


测 论 的 方法 对 于 视听 跨 通道 对 应 进行 研究 ， 结 果 显 示 当 视听 路 通 道 对 应 发 生 时 ， 被 试 的 知 


觉 敏 感性 没有 发 生变 化 ， 而 对 于 目标 的 虚报 率 则 上 


升 。 研 究 者 认为 如 果 视 听 跨 通道 对 应 


发 生 在 知觉 层面 ， 被 试 反应 能 力 的 增强 不 会 伴随 虚报 率 的 上 升 ， 因 而 视听 跨 通 道 对 应 发 生 


在 决策 而 非 知觉 水 平 (Marks et al., 2003)。 总 之 ， 由 


视听 跨 通道 对 应 的 发 生 阶段 尚 无 定论 (Spence, 2011). 


视 、 听 刺激 的 整合 或 对 应 可 以 提高 目标 的 知觉 显著 性 (Evans & Treisman, 2010; Ković et 


于 所 选 


Roe 


的 刺激 材料 和 测量 指标 不 同 ， 


al., 2010; Tang et al., 2019)， 促 进 个 体 的 行为 反应 ， 而 注意 系统 中 的 返回 抑制 (inhibition of 


return, IOR) 也 会 影响 人 类 对 于 目标 的 知觉 ( 唐 晓 雨 等 , 2020; Tang et al., 2019). IOR 是 指 在 


线索 -靶子 范式 (cue-target paradigm) 中 ， 当 线索 和 目标 之 间 的 SOA 大 于 约 300 ms 时 ， 被 试 


对 于 线索 化 位 置 出 现 的 刺激 的 反应 时 慢 于 非 线 索 位 


ae 1] 
u 


1984). IOR 避免 了 相同 位 置 被 重复 搜索 ， 提 高 了 视觉 搜索 效率 (Redden et al., 2021). BR 


上 现 的 刺激 的 现象 Posner & Cohen, 


对 于 IOR 的 发 生机 制 存 有 不 同 的 理论 解释 ， 但 人 们 普遍 认为 IOR 反映 了 一 种 知觉 抑制 ， 即 


一 < 


主意 从 线索 化 位 置 脱离 ， 导 致 线索 化 位 置 上 目标 的 感知 觉 显著 性 降低 ， 使 得 反应 受到 损害 


(Klein, 2000; Satel et al., 2013). ERP 研究 发 现 IOR 发 生 时 线索 化 位 置 刺激 诱发 的 早期 P1 和 


NI1 成 分 波幅 低 于 非 线索 化 位 置 (Hopfinger & Mangun, 2001; Prime & Jolicoeur, 2009), 3¢F# 


了 TOR 效应 发 生 在 早期 的 感知 觉 阶段 。 以 往 研究 关注 TOR 效应 和 多 感觉 刺激 间 的 相互 作 


]， 这 样 的 研究 集中 于 视听 觉 整 合 ( 彭 姓 等 , 2019; Tang et al., 2019; van der Stoep, van der 


Stigchel, et al., 201$)。 研 究 者 在 线索 -靶子 范式 中 设置 视听 觉 目标 ， 结 果 发 现 IOR 效应 对 于 
视听 觉 整合 产生 了 调节 作用 。 一 部 分 研究 者 发 现 线索 化 位 置 的 视听 觉 整合 效应 更 小 ( 彭 姓 
等 , 2019; Tang et al., 2019; van der Stoep et al., 2016)， 另 一 部 分 研究 者 发 现 了 相反 的 结果 ， 


即 线索 化 位 置 的 视听 觉 整 合 效应 更 大 ( 唐 晓 雨 等 , 2020)。 不 同 的 研究 结果 可 能 与 不 同 实验 


的 SOA 设置 有 关 ( 唐 晓 雨 等 , 2020)， 但 已 有 研究 都 表明 ， 视 听觉 整合 发 生 在 知觉 阶段 (Tang 
et al., 2019)， 因 此 会 受到 同样 发 生 在 知觉 加 工 阶 段 的 IOR 效应 的 调节 ( 彭 姓 等 , 2019; 唐 晓 


两 等 , 2020)。 


尽管 视听 觉 整 合 和 视听 跨 通 道 对 应 以 不 同 的 方式 导致 多 感觉 反应 增强 ， 前 者 通过 时 间 


和 空间 上 的 临近 提供 元 余 的 信息 (Noesselt et al., 2007; Santangelo et al., 2008)， 后 者 通过 不 同 


维度 信息 间 的 相互 映射 促进 当前 的 行为 (Chiou & Rich, 2012; McCormick et al., 2018)。 但 如 
果 视 听 跨 通道 对 应 发 生 在 知觉 阶段 ， 结 合 以 往 研究 发 现 的 多 感觉 刺激 与 包括 IOR 在 内 的 注 


意 线索 效应 之 间 的 相互 作用 ( 唐 晓 雨 等 , 2020; Botta et al., 2017; Chica et al., 2011; Tang et al., 


2019)， 以 及 加 因素 法 反应 时 的 实验 逻辑 (Sternberg, 1969)， 则 IOR 效应 发 生 时 ， 线 索 化 位 
置 目标 的 感知 觉 显 著 性 降低 会 对 于 视听 跨 通 道 对 应 产生 影响 ， 而 如 果 视 听 跨 通道 对 应 发 生 
在 语义 或 者 决策 水 平 ， 则 TOR 效应 不 会 对 于 视听 跨 通道 对 应 产生 影响 。 因 此 ， 本 研究 将 空 
间 线 索 范 式 与 视听 跨 通 道 对 应 的 研究 范式 相 结合 ， 对 于 IOR 效应 和 视听 跨 通道 对 应 之 间 的 


关系 进行 了 探究 。 以 往 视听 跨 通道 对 应 的 研究 中 ， 视 、 听 刺激 同步 呈现 (Brunel et al., 2015; 


= 


Gallace & Spence, 2006; Getz & Kubovy, 2018)， 导 致 所 测量 到 的 结果 可 能 同时 包含 了 视听 觉 
整合 和 视听 跨 通 道 对 应 。 考 虑 到 视 、 听 刺激 呈现 的 时 空 邻近 性 是 视听 觉 整 合 发 生 的 必要 条 


是 
件 (Spence, 2011)， 已 有 研究 表明 当 视 、 听 刺激 呈现 间隔 时 间 超 过 100 ms 时 视听 觉 整合 效应 


= 


消失 (van der Stoep, Spence, et al., 2015)， 因 此 本 研究 在 听觉 刺激 消失 后 200 ms 呈现 视觉 目 
标 ， 且 听觉 刺激 以 双 声 道 形式 呈现 ， 以 最 小 化 视听 觉 整合 的 影响 。 

另外 ， 先 于 视觉 目标 呈现 的 听觉 刺激 会 对 于 目标 产生 警觉 效应 (Wiegand & Sander, 
2019)， 这 种 警觉 效应 会 提高 被 试 对 于 视觉 刺激 的 知觉 能 力 (Kusnir et al., 2011)， 并 与 目标 的 
感知 觉 显著 性 产生 交互 作用 (Botta et al., 2017)， 因 此 目前 研究 中 警觉 效应 可 能 与 外 源 性 线索 
引发 的 IOR 效应 相互 作用 ， 造 成 不 同 条 件 下 的 警觉 效应 不 同 。 考 虑 到 目前 研究 是 第 一 个 探 
FE TOR 效应 与 视听 跨 通 道 对 应 之 间 关 系 的 研究 ， 在 实验 中 排除 可 能 存在 的 混淆 因素 是 必要 
的 ， 因 此 本 研究 设计 了 控制 实验 ， 排 除 目前 范式 中 警觉 效应 与 IOR 效应 产生 交互 进而 混淆 
实验 结果 的 可 能 。 最 后 ， 为 了 进一步 探究 IOR 效应 和 视听 跨 通道 对 应 之 间 交 互 作用 的 机 
制 ， 本 研究 通过 操纵 线索 和 目标 之 间 的 SOA 来 操纵 IOR 效应 的 大 小 (Lupiiaez et al., 
1997)， 进 而 探究 IOR 效应 对 于 视听 跨 通道 对 应 的 调节 机 制 。 

综 上 ， 本 研究 采用 线索 -靶子 范式 ， 在 视觉 目标 之 前 呈现 听觉 刺激 ， 考 察 IOR 对 于 视 
听 跨 通道 对 应 的 影响 。 研 究 分 为 3 个 实验 ， 实 验 1 操纵 线索 和 目标 之 间 的 空间 线索 有 效 性 
和 听觉 刺激 与 视觉 目标 之 间 的 跨 通道 对 应 一 致 性 ， 探 究 TOR 效应 与 视听 跨 通 道 对 应 之 间 的 
关系 。 实 验 1 假设 ， 音 调 与 空间 位 置 之 间 的 视听 跨 通道 对 应 发 生 在 知觉 水 平 ， 因 此 会 受到 
发 生 在 相同 加 工 阶段 的 IOR 效应 的 影响 ， 出 现 视听 跨 通 道 对 应 与 IOR 效应 之 间 的 交互 作 


用 。 实 验 2 通过 操纵 听觉 刺激 是 否 出 现 ， 探 究 TOR 效应 与 单独 的 声音 出 现 与 否 之 间 的 关 


系 。 实 验 2 中 听觉 刺激 只 存在 一 种 音调 ， 而 音调 与 空间 位 置 之 间 的 跨 通 道 对 应 需要 呈现 两 
个 具有 高 低 关 系 的 音调 才能 产生 (Chiou & Rich, 2012)， 因 此 只 呈现 一 种 音调 不 会 与 视觉 目 
标的 空间 位 置 产生 跨 通 道 对 应 。 实 验 2 的 目的 一 方面 是 验证 在 目前 的 研究 中 ， 在 视觉 刺激 
前 单纯 呈现 听觉 刺激 不 会 与 IOR 效应 产生 交互 ， 而 只 有 听觉 刺激 与 视觉 目标 发 生 跨 通道 对 
应 才 会 与 IOR 效应 产生 交互 ; 另 一 方面 是 排除 可 能 存在 的 警觉 效应 对 于 结果 的 混淆 。 基 于 
以 往 研 究 表明 ， 警 觉 效 应 是 以 一 种 自 上 而 下 的 方式 增强 对 于 刺激 的 感知 Kusnir et al., 

2011)， 而 IOR 以 自 下 而 上 的 方式 影响 被 试 的 知觉 Berdica et al., 2017; Jia et al., 2019)， 实 验 
2 假设 IOR 效应 不 会 与 听觉 刺激 的 出 现 与 否 产生 交互 ， 进 一 步 支持 实验 1 的 结果 是 由 IOR 
效应 对 视听 跨 通道 对 应 的 影响 所 导致 的 。 实 验 3 通过 操纵 线索 和 目标 之 间 的 SOA 来 操纵 
TOR 效应 的 大 小 ， 探 究 IOR 效应 对 于 视听 跨 通道 对 应 的 调节 机 制 。 根 据 多 感觉 反应 增强 中 


的 反比 效应 原则 (principle of inverse effectiveness)(Meredith & Stein, 1983; van der Stoep et al., 


2016)， 研 究 预 期 随 着 线索 和 目标 之 间 的 SOA 增加 ，IOR 效应 变 小 (Lupiiaez et al., 1997), 
进而 使 得 线索 化 位 置 的 视听 跨 通 道 对 应 效应 变 小 ， 且 TOR 效应 对 于 视听 跨 通 道 对 应 的 调节 
作用 减弱 。 


2 实验 1: TOR 效应 对 视听 跨 通 道 对 应 的 影响 
2.1 方法 


2.1.1 被 试 


采用 G*Power 3.1 软件 对 样本 量 进行 计算 (Erdfelder et al., 2009; Faul et al., 2007)。 设 置 


I 类 错误 的 概率 a error prob 为 0.05, 检验 效能 Power(1 - B err prob) 为 0.8， 效 应 量 为 中 等 水 
(f= 0.25)(Cohen, 1992)， 计 算 被 试 样本 量 为 24。 招 募 江苏 省 高 校 在 校 学 生 31 名 ， 其 中 男 
生 14 名 ， 女 生 17 名 ， 年 瞧 18-24 岁 。 所 有 被 试 均 为 右 利 手 ， 听力、 视力 或 矫正 视力 正常， 
无 神经 或 精神 疾病 史 , 无 脑 部 损伤 史 。 被 试 在 实验 完成 后 会 获得 相应 的 报酬 。 

2.1.2 实验 仪器 与 材料 


实验 程序 使 用 E-prime2.0 编制 ， 运 行 于 Dell 3020 MT 主机 上 。 实 验 刺 激 呈 现在 23 BE 
| 新 率 为 60 Hz。 整 个 实 
验 中 被 试 头 部 通过 下 巴 托 固定 ， 距 离 屏 幕 60 cm。 实 验 在 隔音 的 暗 环境 下 进行 。 

所 有 的 视觉 刺激 材料 都 在 白色 的 背景 上 由 黑色 (RGB: 0, 0, 0) 线 条 绘制 。 在 每 个 试 次 
中 ，3 个 正方 形 方 框 (1.5°x 1.5°) 竖 直 排 列 在 屏幕 上 ， 其 中 一 个 方 框 位 于 屏幕 正中 ， 另 外 两 个 


寸 的 液晶 显示 器 (Dell E2316Hf) 上 ， 屏 幕 的 分 辨 率 为 1024 x 768, fi 
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方 框 置 于 上 下 两 人 出， 两 个 相 邻 方 框 相距 视角 为 4.5*。 中 央 注 视点 (1° x 19) 呈 现在 中 央 方 框 
内 ， 线 索 通 过 对 于 注视 点 上 方 或 者 下 方 的 矩形 边框 加 粗 0.5° 实 现 ， 中 央 线 索 通 过 中 央 注 视 
点 变 大 为 1.5° x 1.5° 实 现 。 视 觉 目 标 为 一 个 圆 盘 (1° x 19)， 听 觉 刺 激 为 2530 Hz 或 2500 Hz 的 


正弦 音 (50 ms)。 声 音 刺激 通过 头 戴 式 铁 三 角 耳 麦 (ATH-WS99) 从 左右 耳 双 声 道 呈现 ， 音 量 控 


制 在 65 dB. 


2.1.3 实验 设计 与 流程 

实验 1 采用 2( 空 间 线索 有 效 性 : 线索 有 效 vs. 线索 无 效 ) x 2( 跨 通道 对 应 一 致 性 : 对 应 
一 致 vs. 对 应 不 一 致 ) 的 被 试 内 设计 ， 因 变量 为 反应 时 和 正确 率 。 其 中 ， 跨 通道 对 应 一 致 条 
件 是 指 在 高 音 后 呈现 高 位 置 的 视觉 目标 ， 在 低音 后 呈现 低位 置 的 视觉 目标 ， 跨 通道 对 应 不 
一 致 条 件 则 与 之 相反 。 正 式 实验 一 共 5 组 ， 每 组 53 个 试 次 ， 其 中 包含 5 个 捕获 试 次 ， 共 
265 个 试 次 。 被 试 在 进行 正式 实验 前 完成 53 个 试 次 的 练习 实验 ， 整 个 实验 大 约 进行 35 分 
钟 。 

实验 1 中 每 个 试 次 的 流程 如 图 1 所 示 。 首 先 ， 屏 幕 中 间 会 呈现 注视 点 “+” 呈现 时 间 
为 750 ms。 随 后 注视 点 上 方 或 者 下 方 的 方 框 边框 会 加 粗 ， 作 为 线索 ， 呈 现时 间 为 50 ms, 
线索 对 于 目标 的 空间 位 置 没 有 预测 性 。 在 250 ms 的 时 间 间 隔 后 ， 注 视点 加 粗 作 为 中 央 线 索 
呈现 。 中 央 线 索 是 空间 IOR 研究 中 常用 的 设置 ， 有 助 于 IOR 效应 更 稳定 的 出 现 (Prime et 
al., 2006)。 中 央 线 索 呈 现 50 ms， 之 后 随机 呈现 不 同音 调 的 听 沉 刺激。 听觉 刺激 呈现 时 间 为 
50ms， 在 200 ms 的 时 间 间 隅 后 ， 视 觉 目 标 在 注视 点 上 方 或 者 下 方 的 方 框 内 呈现 100 ms. 
被 试 需要 在 探测 到 视觉 目标 时 进行 既 快 又 准 的 按键 反应 ， 捕 获 试 次 不 需要 按键 。 如 果 1000 
ms 内 被 试 没 有 按键 ， 则 自动 进入 下 一 个 试 次 。 除 了 练习 实验 ， 实 验 中 没有 给 予 被 试 按键 正 
确 或 错误 的 反馈 。 


对 应 不 一 致 


2.2 结果 与 分 析 


错误 反应 、 没 有 反应 和 反应 时 异常 (100 ms 以 内 或 超出 平均 反应 时 正 负 3 个 标准 差 ) 的 
数据 不 计 入 反应 时 分 析 ， 剔 除 的 数据 量 占 总 数据 量 的 1.09 %。 实 验 1 为 简单 的 探测 反应 任 
务 ， 被 试 的 平均 正确 率 达 到 98 % 以 上 ， 因 此 不 针对 正确 率 进行 进一步 的 统计 分 析 。 


对 反应 时 进行 2( 线 索 有 效 性 ， 线索 有 效 vs. 线索 无 效 ) x 2( 跨 通道 对 应 一 致 性 : 对 应 一 
致 vs. 对 应 不 一 致 ) 的 重复 测量 方差 分 析 。 结 果 如 图 2 Ata, RAR REE MES, FC, 
30) = 122.26, p<0.001, n? = 0.80， 线 索 有 效 条 件 下 的 反应 时 (325 ms) 显 著 慢 于 线索 无 效 


条 件 (288 ms), IOR 效应 出 现 。 跨 通道 对 应 一 致 性 主 效应 显著 ，F(1, 30) = 4.95， 疡 = 0.034， 


Np? = 0.14， 对 应 一 致 条 件 下 的 反应 时 (305 ms) 显 著 快 于 对 应 不 一 致 条 件 (308 ms)， 视 听 跨 通 
道 对 应 效应 出 


y 


tH 


y 


要 的 是 ， 线 索 有 效 性 和 跨 通 道 对 应 一 致 性 的 交互 作用 显著 ，F(1, 30) = 


lo E 


6.69, p=0.015, mp? =0.18, IOR 效应 对 于 视听 跨 通 道 对 应 产生 了 调节 作用 。 简 单 效 应 分 
析 表 明 ， 当 线索 有 效 时 ， 跨 通道 对 应 一 致 条 件 下 的 反应 时 (322 ms) 显 著 快 于 对 应 不 一 致 条 


件 (327ms)，z(30)= 3.26， p=0.003, Cohen’s d=0.59, 95% CI = [-9.29, -2.13]， 出 现 了 视听 
跨 通道 对 应 效应 ;， 当 线索 无 效 时 ， 跨 通道 对 应 一 致 条 件 下 的 反应 时 C89 ms) 和 对 应 不 一 致 


条 件 下 的 反应 时 (288 ms) 没 有 显著 差异 ，130) < 1， 没 有 出 现 视听 跨 通 道 对 应 效应 。 另 一 个 
维度 的 简单 效应 分 析 表 明 ， 当 跨 通 道 对 应 一 致 时 ， 线 索 有 效 条 件 下 的 反应 时 (322 ms) 显 著 


慢 于 线索 无 效 条 件 (288 ms)，1(30) = 10.19, p<0.001, Cohen’s d= 1.83，95% CI = [26.76， 
40.19]，IOR 效应 出 现 ;， 当 路 通道 对 应 不 一 臻 时， 线索 有 效 条 件 下 的 反应 时 (327 ms) 显 著 慢 


于 线索 无 效 条 件 (288 ms), (30) = 10.76, p<0.001, Cohen’s d= 1.93，95% CI = [31.79， 
40.69]，IOR 效应 同样 出 现 。 对 于 IOR 效应 量 (线索 有 效 条 件 减 去 线索 无 效 条 件 的 平均 反应 
时 ) 进 行 配对 样本 检验， 结果 发 现 跨 通道 对 应 一 致 条 件 下 的 IOR 效应 量 (33 ms) 显 著 小 于 不 


一 致 条 件 (39 ms), 1(30)=2.59, p=0.015, Cohen’sd=0.47, 95% CI= [-10.31, -1.21]， 视 听 
跨 通道 对 应 产生 的 促进 作用 抵消 了 部 分 IOR 效应 。 


P 对 应 一 臻 
x 


一 一 一 一 一 一 C | airi 
550 


有 效 线索 无 效 线索 


= 图 2 实验 1 各 个 条 件 下 的 箱 线 图 。 线 条 自 上 而 下 为 上 限 、 上 四 分 位 数 、 中 位 数 、 下 四 分 位 数 、 下 限 。 散 


点 为 个 体 平 均 反 应 时 。( 注 : *p < 0.05, **p < 0.01, ***p < 0.001,n.s. 代 表 无 显著 差异 ) 


2.3 小 结 

实验 1 的 结果 发 现 ， 被 试 在 线索 有 效 条 件 下 的 反应 时 慢 于 线索 无 效 条 件 ，IOR 效应 出 
现 ， 表 明 实 验 在 中 央 线 索 后 呈现 听觉 刺激 并 没有 影响 IOR 效应 的 产生 。 此 外 ， 被 试 在 跨 ; 
道 对 应 一 致 条 件 下 的 反应 时 快 于 对 应 不 一 致 条 件 ， 听 觉 音 调 与 视觉 空间 位 置 之 间 的 跨 通道 
对 应 出 现 。 重 要 的 是 ，IOR 效应 与 视听 跨 通道 对 应 产生 了 交互 作用 ， 线 索 有 效 条 件 下 出 现 
了 视听 跨 通 道 对 应 效应 ， 而 线索 无 效 条 件 下 没有 出 现 视听 跨 通 道 对 应 效应 ， 发 生 在 早期 知 
觉 阶段 的 TOR 效应 对 于 视听 跨 通道 对 应 产生 了 调节 作用 。 
Q 以 往 视听 觉 整合 的 研究 中 ， 有 研究 者 发 现 IOR 效应 发 生 时 ， 线 索 有 效 条 件 下 的 视听 觉 
整合 效应 更 大 ( 唐 晓 雨 等 ,2020)。 研 究 者 通过 反比 效应 原则 对 此 加 以 解释 ， 即 更 弱 的 视 、 
听 感 觉 信号 输入 引发 了 更 强 的 整合 (Meredith & Stein, 1983)。 目 前 研究 中 IOR 效应 发 生 时 线 
索 化 位 置 的 目标 感知 觉 显 著 性 降低 ， 非 线索 化 位 置 的 目标 感知 显著 性 相对 提高 (Satel et al., 
2013)， 可 能 导致 了 视觉 目标 与 听觉 刺激 之 间 的 跨 通道 对 应 仅 在 线索 化 位 置 出 现 。 这 意味 着 
反比 效应 原则 可 能 也 适用 于 视听 跨 通 道 对 应 ， 具 体 将 在 总 讨论 中 进一步 论述 。 实 验 1 还 发 


(A 


= 


现 跨 通 道 对 应 一 致 条 件 下 的 IOR 效应 量 更 小 ， 意 味 着 视听 跨 通道 对 应 部 分 抵消 了 IOR 效应 
对 于 目标 在 早期 感知 觉 上 的 抑制 ， 这 与 视听 觉 整合 研究 中 的 发 现 相 一 致 (Tang et al., 2019). 
实验 1 的 结果 支持 了 听觉 音调 与 视觉 空间 位 置 之 间 的 跨 通 道 对 应 与 IOR 效应 均 发 生 在 


早期 的 知觉 阶段 ， 因 而 两 者 之 间 会 产生 交互 。 但 在 目前 研究 中 ， 先 于 视觉 目标 呈现 的 听觉 
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刺激 会 产生 警觉 效应 (Wiegand & Sander, 2019)， 这 种 警觉 效应 可 能 在 线索 化 位 置 和 非 线索 
化 位 置 的 大 小 不 同 (Botta et al., 2017)， 进 而 对 于 实验 结果 产生 混淆 。 为 了 进一步 支持 实验 1 
的 结果 是 由 TOR 效应 对 于 视听 跨 通 道 对 应 进行 调节 所 导致 的 ， 本 研究 设计 了 实验 2， 实 验 
2 通过 操纵 听觉 刺激 是 否 出 现 ， 探 究 IOR 效应 与 单独 的 声音 出 现 与 否 之 间 的 关系 。 实 验 2 
的 目的 一 方面 是 验证 在 目前 的 研究 中 ， 在 视觉 刺激 前 单纯 呈现 听觉 刺激 不 会 与 IOR 效应 产 
生 交互 ， 而 只 有 听觉 刺激 与 视觉 目标 发 生 跨 通道 对 应 才 会 与 IOR 效应 产生 交互 ; 另 一 方面 
是 排除 可 能 存在 的 警觉 效应 对 于 结果 的 混 消 。 


3 实验 2: IOR 效应 与 声音 呈现 与 否 的 关系 
3.1 方法 
3.1.1 被 试 

采用 G*Power 3.1 软件 对 样本 量 进行 计算 。 设 置 工 类 错误 的 概率 a error prob 为 0.05， 
检验 效能 Power (1 - B err prob) 为 0.8， 效 应 量 为 中 等 水 平 (f= 0.25)(Cohen, 1992)， 计 算 被 试 
样本 量 为 24。 招 募 江 苏 省 高 校 在 校 学 生 34 名 ， 其 中 男生 15 名 ， 女 生 19 名 ， 年 龄 18~24 
岁 。 所 有 被 试 均 为 右 利 手 , 听力 、 视 力 或 矫正 视力 正常 , 无 神经 或 精神 疾病 史 , 无 脑 部 损伤 
史 。 被 试 在 实验 完成 后 会 获得 相应 的 报酬 。 
3.1.2 实验 仪器 与 材料 

实验 2 中 的 听觉 刺激 为 1600 Hz 的 正弦 音 ， 其 余 的 实验 仪器 与 实验 材料 与 实验 1 相 
同 。 
3.1.3 实验 设计 和 实验 流程 

实验 2 采用 2( 空 间 线索 有 效 性 : 线索 有 效 vs. 线索 无 效 ) x2 (声音 呈现 : 有 声音 vs. 
无 声音 ) 的 被 试 内 设计 ， 因 变量 为 反应 时 和 正确 率 。 实 验 2 与 实验 1 的 不 同 之 处 是 听觉 刺激 
为 1600 Hz 的 纯音 ， 可 能 出 现在 视觉 刺激 之 前 ， 也 可 能 不 出 现 。 甚 余 实验 流程 和 试 次 设置 
均 与 实验 1 保持 一 致 。 

结果 与 分 析 

错误 反应 、 没 有 反应 和 反应 时 异常 (100 ms 以 内 或 超出 平均 反应 时 正 负 3 个 标准 差 ) 的 
数据 不 计 入 反应 时 分 析 ， 剔 除 的 数据 量 占 总 数据 量 的 1.88 %。 在 实验 2 中 ， 被 试 的 平均 正 
确 率 达到 98 % 以 上 ， 因 此 不 针对 正确 率 进 行进 一 步 的 统计 分 析 。 

对 反应 时 进行 2( 线 索 有 效 性 : 线索 有 效 vs. 线索 无 效 ) x UFFEM: 有 声音 vs. 无 
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声音 ) 的 重复 测量 方差 分 析 。 结 果 如 图 3 所 示 ， 线 索 有 效 性 主 效应 显著 ，F(1, 33) = 237.78, 
p<0.001, mp? =0.88, RRAK FERME ms) 显 著 慢 于 线索 无 效 条 件 (294 ms), 


TOR 效应 出 现 。 声 音 呈现 主 效应 显著 ，F(1, 33) = 82.34, p<0.001, m2=0.71, BARA 


下 的 反应 时 (283 ms) 显 著 快 于 无 声音 条 件 (305 ms)， 听 觉 刺激 促进 被 试 对 于 视觉 目标 的 反 


y。 线 索 有 效 性 和 声音 呈现 的 交互 作用 不 显著 ，F(1, 33) < 1， 没有 证 据 表 明 IOR 效应 对 于 
听觉 刺激 所 产生 的 促进 效应 产生 影响 。 


反应 时 (ms) 


有 效 线索 无 效 线索 


图 3 实验 2 各 个 条 件 下 的 箱 线 图 。 线 条 自 上 而 下 为 上 限 、 上 四 分 位 数 、 中 位 数 、 下 四 分 位 数 、 下 限 。 散 


点 为 个 体 平均 反应 时 。( 注 : *p < 0.05, **p < 0.01, ***p < 0.001,n.s. 代 表 无 显著 差异 ) 


3.3 小 结 

实验 2 的 结果 显示 ， 被 试 在 线索 有 效 条 件 下 的 反应 时 慢 于 线索 无 效 条 件 ，IOR 效应 出 
现 。 声 音 呈 现 主 效应 显著 ， 提 前 视觉 刺激 200 ms 呈现 的 听觉 刺激 促进 了 被 试 对 于 视觉 目标 
的 反应 。 但 线索 有 效 性 和 声音 呈现 之 间 的 交互 作用 不 显著 。 实 验 2 的 结果 表明 ， 单 纯 的 声 
音 呈 现 不 会 与 IOR 效应 产生 交互 ， 只 有 听觉 刺激 与 视觉 目标 发 生 跨 通道 对 应 才 会 与 IOR 效 
应 产生 交互 。 实 验 2 中 听觉 刺激 对 于 视觉 目标 的 反应 促进 主要 反映 了 警觉 效应 ， 而 警觉 


应 没有 和 IOR 效应 产生 交互 。 结 合 以 往 研 究 ， 警 觉 效 应 是 以 一 种 自 上 而 下 的 方式 增强 对 于 
刺激 的 感知 (Kusnir et al., 2011)， 而 IOR 以 自 下 而 上 的 方式 影响 被 试 的 知觉 (Berdica et al., 

2017; Jia et al., 2019)， 由 于 两 种 效应 作用 的 通路 不 同 ， 因 此 不 会 产生 交互 作用 。 实 验 2 SC 
持 了 实验 1 中 的 结果 的 确 是 IOR 效应 对 视听 跨 通道 对 应 的 影响 所 导致 的 。 


为 了 进一步 探究 IOR 效应 对 于 视听 跨 通 道 对 应 的 调节 机 制 ， 本 研究 设计 了 实验 3， 实 
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验 3 通过 操纵 线索 和 目标 间 的 SOA 来 操纵 IOR 效应 的 大 小 ， 探 究 IOR 效应 的 大 小 对 视听 
跨 通 道 对 应 的 影响 。 如 果 反 比 效应 原则 成 立 ， 则 SOA 增加 所 导致 的 IOR 效应 变 小 ， 会 使 
得 线索 化 位 置 的 视听 跨 通道 对 应 效应 减弱 ， 且 TOR 效应 对 于 视听 路 通道 对 应 的 调节 作用 减 


4 实验 3: 不 同 SOA FIOR 效应 对 视听 跨 通道 对 应 的 影响 
4.1 方法 
4.1.1 被 试 

采用 G*Power 3.1 软件 对 样本 量 进行 计算 。 设 置 工 类 错误 的 概率 a error prob W 0.05, 
检验 效能 Power (1 - B err prob) 为 0.8， 效 应 量 为 中 等 水 平 (f= 0.25)(Cohen, 1992)， 计 算 被 试 
样本 量 为 16。 招 募 江 苏 省 高 校 在 校 学 生 37 名 ， 其 中 男生 9 名 ， 女 生 28 名 。 别 除 被 试 3 
名 ， 剩 余 有 效 被 试 34 名 ， 其 中 男生 9 名 ， 女 生 25 名 ， 年龄 19~26 岁 。 所 有 被 试 均 为 右 利 
F, 听力、 视力 或 矫正 视力 正常 ,无 神经 或 精神 疾病 史 , 无 脑 部 损伤 史 。 被 试 在 实验 完成 后 
会 获得 相应 的 报酬 。 
4.1.2 实验 仪器 与 材料 

实验 3 在 实验 1 的 基础 上 ， 将 线索 与 目标 之 间 的 SOA 设置 为 600 ms 和 1300 ms 两 种 
水 平 。600 ms 为 实验 1 中 的 线索 和 目标 间 的 SOA, 1300 ms 是 通过 延长 外 源 性 线索 与 中 央 
线索 之 间 的 间隔 时 间 实 现 的 。 其 余 的 实验 仪器 与 实验 材料 与 实验 1 相同 。 
4.1.3 实验 设计 和 实验 流程 

实验 3 采用 2( 空 间 线索 有 效 性 : 线索 有 效 vs. 线索 无 效 ) x 2( 跨 通道 对 应 一 致 性 ， 对 应 
一 致 vs. 对 应 不 一 致 ) x 2(SOA: 600 ms vs. 1300 ms) 的 被 试 内 设计 ， 因 变量 为 反应 时 和 正 
外 率 。 正 式 实验 一 共 6 组 ， 每 组 69 个 试 次 ， 其 中 包含 5 个 捕获 试 次 ， 共 414 个 试 次 。 被 试 
在 进行 正式 实验 前 完成 35 个 试 次 的 练习 实验 ， 整 个 实验 大 约 进行 50 分 钟 。 其 余 实 验 流程 
均 与 实验 1 保持 一 致 。 

2 结果 与 分 析 

错误 反应 、 没 有 反应 和 反应 时 异常 (100 ms 以 内 或 超出 平均 反应 时 正 负 3 个 标准 差 ) 的 
数据 不 计 入 反应 时 分 析 ， 剔 除 的 数据 量 占 总 数据 量 的 1.22 %。 实 验 3 为 简单 的 探测 反应 任 
务 ， 被 试 的 平均 正确 率 达 到 99 % 以 上 ， 因 此 不 针对 正确 率 进行 进一步 的 统计 分 析 。 
4.2.1 反应 时 


一 


11 


对 反应 时 ( 见 表 1) 进 行 2( 线 索 有 效 性 : 线索 有 效 vs. 线索 无 效 ) x 2( 跨 通道 对 应 一 至 
性 ;对 应 一 致 vs. 对 应 不 一 致 ) x 2(SOA: 600 ms vs. 1300 ms) 的 重复 测量 方差 分 析 。 结 果 


WAN, RRA RH 
反应 时 (355 ms) 显 著 慢 于 线索 无 效 条 伯 


FE 主 效应 显著 ，F(1, 33) = 89.44, p<0.001, np?=0.73, BAA WARE FAY 
F(336 ms), IOR 效应 出 现 。 跨 通道 对 应 一 致 性 主 效应 


a, F(1,33)=9.57, p=0.004, mp? = 0.23， 对 应 一 致 条 件 下 的 反应 时 (343 ms) 显 著 快 于 对 


应 不 一 致 条 件 (348 ms)， 视 听 路 通道 对 应 效应 出 现 。SOA 主 效应 不 显著 ，F(1, 33) < 1。 


SOA 和 线索 有 效 性 的 交互 作用 


显著 ，F(1, 33)= 6.89，P = 0.013，112 = 0.17，SOA 对 于 IOR 


效应 产生 了 调节 作用 。 简 单 效 应 分 析 表 明 ， 当 SOA 为 600 ms 时 ， 线 索 有 效 条 件 下 的 反应 
著 慢 于 线索 无 效 条 件 (334 ms), 133) = 8.34, p<0.001, Cohen’s d= 1.43，95% 


时 (356 ms) 显 


CI = [16.33, 26.86], IOR 效应 出 现 ， 当 SOA 为 1300 ms 时 ， 线 索 有 效 条 件 下 的 反应 时 (354 


ms) 显 著 慢 于 


[12.13, 19.74], IOR 效应 同样 


线索 无 效 条 伯 


E(339 ms), 1(33)= 8.52, p<0.001, Cohen’s d=1.46, 95% CI= 


HM. SOA 对 于 IOR 效应 的 调节 体现 在 SOA 为 600 ms 时 


IOR 效应 量 (22 ms) 显 著 大 于 1300 ms 时 (16 ms)，133) =2.63, p=0.013, Cohen’s d=0.45, 


95% CI= [1.27, 10.05]， 随 着 SOA 的 延长 ，IOR 效应 变 小 。 


ERPE, RRA NH 


E、 视 听 跨 通道 对 应 一 致 性 和 SOA 三 因素 交互 作用 显著 ， 严 1， 


33)=6.40, p=0.016, mp*=0.16. “4 SOA 为 600 ms 时 ， 线 索 有 效 性 和 跨 通 道 对 应 一 致 性 


的 交互 作用 显著 ，F(1, 33) = 19.45，p < 0.001，ny? = 0.37，IOR 效应 对 于 视听 路 通道 对 应 产 


生 了 调节 。 简 单 效应 分 析 表 明 ， 当 线索 有 效 时 ， 跨 通道 对 应 一 致 条 件 下 的 反应 时 (350 ms) 


显著 快 于 对 应 不 一 致 条 件 (361 ms)，1G33) = 4.97, p<0.001, Cohen’s d= 0.85，95% CI=[- 


15.36, -6.43], 


出 现 了 视听 跨 通 道 对 应 效应 ， 当 线索 无 效 时 ， 跨 通道 对 应 一 致 条 件 下 的 反应 


时 (334 ms) 和 对 应 不 一 致 条 件 (335 ms) 没 有 显著 差异 ，133) < 1， 没 有 出 现 视听 跨 通 道 对 应 


效应 。 当 SOA 为 1300 ms 时 ， 跨 通道 对 应 一 致 性 主 效应 显著 ，F(1, 33)=5.41, p= 0.026， 
Np? = 0.14， 对 应 一 致 条 件 下 的 反应 时 (344 ms) 显 著 快 于 对 应 不 一 致 条 件 (349 ms)， 视 听 跨 通 


道 对 应 效应 


HI RRA AH 


E PLES EE MY DY — BC 


的 交互 作 ) 
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不 显著 ，F < 1， 无 论 是 线索 


化 位 置 还 是 非 线索 化 位 置 都 出 现 了 视听 跨 通道 对 应 效应 ， 但 值得 注意 的 是 ， 此 时 线索 化 位 
置 的 跨 通道 对 应 效应 在 统计 上 显著 ((33) = 2.11, p=0.042, Cohen’s d=0.36，95% CI= [- 
9.73, -0.19])， 而 非 线 索 化 位 置 的 跨 通道 对 应 效应 达到 边缘 显著 ((33) = 1.78, p= 0.084， 
Cohen’s d=0.31, 95% CI = [-9.44, 0.63])， 这 意味 着 在 长 SOA 下 ， 线 索 化 位 置 的 视听 跨 通 
道 对 应 效应 更 加 稳定 。 
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表 1 实验 3 中 不 同 条 件 下 的 平均 反应 时 (M+ SD) 


线索 有 效 条 件 线索 无 效 条 件 
SOA oo 
对 应 一 至 对 应 不 一 致 对 应 一 至 对 应 不 一 臻 
600 ms 350 + 52 361 +51 334 +55 335 + 53 
1300 ms 352 + 53 357 + 56 336 + 57 341 +57 


4.2.2 视听 跨 通 道 对 应 效应 


首先 计算 出 


不 
去 对 应 一 致 的 平均 反应 时 )， 再 对 其 进行 2SOA: 600 ms vs. 1300 ms) x 2( 线 索 有 效 性 : 线 


Fá 


同 SOA 条 件 下 不 同 线索 有 效 性 的 视听 跨 通 道 对 应 效应 量 (对 应 不 一 致 减 


索 有 效 vs. 线索 


无 效 ) 的 重复 测量 方差 分 析 。 


结果 如 图 4 所 示 。 线 索 有 效 性 主 效应 显著 ，F(1, 33) = 10.45，P = 0.003，7p2 = 0.24， 线 


索 有 效 条 件 下 的 跨 通道 对 应 效应 量 (8 ms) 显 著 大 于 线索 无 效 条 件 (3 ms). SOA 主 效应 不 显 


著 ，F(1, 33)< 1。 


线索 有 效 性 与 SOA 的 交互 作用 显著 ，F(1, 33)= 6.40, p=0.016, np? = 


0.16。 简 单 效 应 分 析 表 明 ， 在 线索 有 效 条 件 下 ，SOA 为 600 ms 时 的 跨 通道 对 应 效应 量 (11 


ms) 显 著 大 于 SOA 为 1300 ms 时 (5 ms)，1(33)=2.20, p=0.035，Cohen’s d=0.38，95% CI 


= [0.44, 11.44]; 


ms 时 (4ms) 没 有 


而 在 线索 无 效 条 件 下 ，SOA 为 600 ms 时 的 跨 通 道 对 应 效应 量 (1 ms) 与 1300 


显著 差异 ，1(33)= 1.45,，p = 0.156。 男 一 个 维度 的 简单 效应 分 析 表 明 ， 当 


SOA 为 600 ms 时 ， 线 索 有 效 条 件 下 的 跨 通道 对 应 效应 量 (11 ms) 显 著 大 于 线索 无 效 条 件 (1 
ms), 1(33)=4.41, p<0.001, Cohen’s d=0.76, 95% CI = [5.35, 14.50]; 而 当 SOA 为 1300 


ms 时 ， 线 索 有 效 条 件 下 的 跨 通道 对 应 效应 量 (5 ms) 与 无 效 条 件 下 (4 ms) 没 有 显著 差异 ，!(33) 


<l. 
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E] 600 ms 
L] 1300 ms 


跨 通道 对 应 效应 量 (ms) 


-S0 


有 效 线索 无 效 线索 


图 4 实验 3 不 同 SOA 条 件 下 不 同 线索 有 效 性 的 跨 通道 对 应 效应 量 的 箱 线 图 。 线 条 自 上 而 下 为 上 限 、 上 


四 分 位 数 、 中 位 数 、 下 四 分 位 数 、 下 限 。 散 点 为 个 体 平均 跨 通 道 对 应 量 。( 注 : *p < 0.05, n.s. 代 表 无 显著 差 


FF) 


4.2.3 IOR 效应 

首先 计算 出 不 同 SOA 条 件 下 不 同 线索 有 效 性 下 的 IOR 效应 量 ， 再 对 IOR 效应 量 进 
行 2SOA: 600 ms vs. 1300 ms) x 2( 跨 通道 对 应 一 致 性 : 对 应 一 致 vs. 对 应 不 一 致 ) 的 重复 
测量 方差 分 析 。 


结果 显示 ，SOA 主 效应 显著 ，F(1, 33)=6.89, p=0.013, n?2=0.17, SOA 为 600 ms 


时 的 IOR 效应 量 (22 ms) 显 著 大 于 SOA 为 1300 ms 时 (16 ms)， 随 着 SOA 的 延长 ，IOR 效应 


lin 


量 显 著 降低 。 跨 通道 对 应 一 致 性 主 效应 显著 ，F(1, 33) = 10.45, p=0.003, mp?=0.24, Pei 


道 对 应 一 致 条 件 下 的 IOR 效应 量 (16 ms) 显 著 小 于 对 应 不 一 致 条 件 (21 ms). SOA 与 跨 通 道 


对 应 一 致 性 的 交互 作用 显著 ，F(1, 33) = 6.40,， p= 0.016，np? = 0.16。 简 单 效应 分 析 表 明 ， 
当 SOA 为 600 ms 时 ， 路 通道 对 应 一 致 条 件 下 的 TOR 效应 量 (17 ms) 显 著 小 于 对 应 不 一 致 条 


件 C7ms)，133) = 4.41, p<0.001, Cohen’sd=0.76, 95% CI = [-14.50, -5.35]， 视 听 跨 通道 
对 应 产生 的 促进 作用 抵消 了 部 分 IOR 效应 ; 当 SOA 为 1300 ms 时 ， 跨 通道 对 应 一 致 条 件 
下 的 IOR 效应 量 (16 ms) 与 对 应 不 一 致 条 件 (16ms) 没 有 显著 差异 ，!(33) < 1。 


4.3 小 结 
实验 3 通过 操纵 线索 和 目标 之 间 的 SOA 来 操纵 IOR 效应 的 大 小 ， 探 究 IOR 效应 的 大 
小 对 视听 跨 通 道 对 应 的 影响 。 对 于 IOR 效应 量 的 分 析 发 现 ， 随 着 SOA 的 延长 ，IOR 效应 


减弱 ， 这 与 前 人 研究 结果 相 一 致 Lupiiaez et al., 1997)。 综 合 统计 结果 发 现 ， 当 SOA 为 600 
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ms 时 ，IOR 效应 与 视听 跨 通 道 对 应 产生 了 交互 作用 ， 线 索 有 效 条 件 出 现 了 视听 跨 通 道 对 应 
效应 ， 而 线索 无 效 条 件 下 没有 出 现 视 听 跨 通道 对 应 效应 ， 这 与 实验 1 的 结果 相 一 致 。 随 着 
SOA 延长 至 1300 ms， 一 方面 线索 有 效 条 件 下 的 视听 跨 通道 对 应 效应 相 比 于 SOA 为 600 
ms 时 显著 减弱 ， 另 一 方面 IOR 效应 对 于 视听 跨 通道 对 应 的 调节 作用 减弱 ， 表 现 为 线索 有 
效 性 与 跨 通道 对 应 一 致 性 之 间 交 互 作用 不 显著 (线索 有 效 条 件 下 的 跨 通 道 对 应 效应 与 线索 无 
效 条 件 没有 显著 差异 )。 当 前 结果 符合 反比 效应 原则 (Meredith & Stein, 1983)， 即 当 SOA 为 
1300 ms 时 ，IOR 效应 减弱 使 得 线索 化 位 置 视觉 目标 的 感知 觉 显著 性 相 比 于 SOA 为 600 ms 
时 增强 ， 更 强 的 视觉 信号 输入 引发 了 更 弱 的 视听 跨 通 道 对 应 ， 同 时 ， 由 于 IOR 效应 减弱 ， 
线索 化 位 置 与 非 线 索 化 位 置 视觉 目标 的 感知 觉 显著 性 间 的 差异 减少 ， 使 得 IOR 效应 对 于 视 
听 跨 通道 对 应 的 调节 作用 减弱 ， 导 致 线索 化 位 置 和 非 线 索 化 位 置 的 视听 跨 通道 对 应 效应 没 
有 显著 差异 。 不 过 ， 由 于 在 1300 ms 条 件 下 IOR 效应 仍然 存在 ， 线 索 化 位 置 目标 感知 觉 显 
著 性 仍然 相对 较 低 ， 因 此 统计 结果 显示 线索 化 位 置 的 视听 跨 通 道 对 应 效应 相 比 于 非 线索 化 
位 置 更 加 稳定 。 此 外 ， 相 比 于 600 ms 条 件 下 ，SOA 为 1300 ms 时 路 通道 对 应 一 致 条 件 下 
的 TOR 效应 量 与 对 应 不 一 致 条 件 没有 显著 差异 ， 可 能 是 视听 跨 通道 对 应 效应 的 减弱 导致 其 
对 于 IOR 效应 的 抵抗 能 力 降 低 。 


5 wit 

本 研究 在 空间 线索 -靶子 范式 的 基础 上 ， 在 视觉 目标 前 呈现 听觉 刺激 ， 操 纵 空间 线索 有 
效 性 和 视听 跨 通道 对 应 一 致 性 ， 考 察 IOR 效应 对 于 视听 跨 通道 对 应 的 影响 。 实 验 1 发 现 
oO TOR 效应 与 视听 跨 通道 对 应 产生 交互 ， 仅 在 线索 化 位 置 出 现 了 视听 路 通道 对 应 效应 。 实 验 
1 的 结果 表明 ， 视 听 跨 通道 对 应 发 生 在 早期 的 知觉 阶段 ， 因 而 会 与 同样 发 生 在 知觉 阶段 的 
TOR 效应 产生 交互 。 实 验 2 中 ， 当 听觉 刺激 为 单一 音调 时 ，IOR 效应 没有 对 听觉 刺激 对 于 
视觉 目标 的 促进 作用 产生 影响 ， 这 意味 着 只 有 听觉 刺激 与 视觉 刺激 发 生 跨 通道 对 应 时 才 会 
与 IOR 效应 产生 交互 。 此 外 ， 实 验 2 发 现 声音 刺激 所 引发 的 警觉 效应 不 会 与 TOR 效应 产生 
交互 ， 进 一 步 支持 了 实验 1 的 结果 是 由 IOR 效应 对 于 视听 跨 通道 对 应 的 影响 所 导致 的 。 实 
验 3 中 ， 研 究 通 过 操纵 线索 与 目标 之 间 的 SOA 来 操纵 IOR 效应 的 大 小 ， 结 果 发 现 随 着 
IOR 效应 的 减弱 ， 线 索 化 位 置 的 视听 跨 通道 对 应 效应 变 小 ， 且 IOR 效应 对 于 视听 跨 通道 对 
应 的 调节 作用 减弱 。 这 支持 了 存在 于 其 他 多 感觉 反应 增强 研究 中 的 反比 效应 原则 也 适用 于 


视听 跨 通 道 对 应 。 
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实验 1 发 现 IOR 与 视听 跨 通 道 对 应 存在 交互 作用 ， 根 据 加 因素 法 反应 时 的 逻辑 ， 两 个 
因素 存在 交互 作用 则 两 个 因素 作用 于 同一 个 加 工 阶 段 (Sternberg, 1969)。 因 此 ， 本 研究 支持 
视听 跨 通 道 对 应 发 生 在 与 IOR 效应 相同 的 知觉 加 工 阶 段 ， 这 与 以 往 一 些 研究 发 现 一 致 


(Kovic et al., 2010; Maeda et al., 2004)。 以 往 部 分 研究 认为 视听 跨 通 道 对 应 发 生 在 语义 层面 


上 (Gallace & Spence, 2006; Martino & Marks, 1999)， 即 视 、 听 信息 激活 了 相同 的 语义 编码 ， 
导致 跨 通道 对 应 出 现 。 研 究 者 用 “高 ”“ 低 ”两 个 词 的 语音 代替 高 、 低 频率 的 音调 ， 发 现 
了 语音 与 空间 位 置 出 现 了 和 声音 频率 与 空间 位 置 类 似 的 跨 通 道 对 应 (Gallace & Spence, 

2006)。 除 了 直接 相关 的 语义 ， 研 究 者 在 音调 与 亮度 的 跨 通 道 对 应 中 ， 将 亮度 刺激 换 为 “ 白 
天 ”“ 黑 夜 ”这 种 语义 间接 相关 的 词 仍然 出 现 了 视听 跨 通 道 对 应 (Martino & Marks, 1999). 
目前 的 研究 则 表明 ， 视 听 跨 通道 对 应 并 不 一 定 要 通过 语义 产生 ， 而 是 可 以 发 生 在 纯 知觉 层 
面 。 这 符合 一 些 研究 发 现 ， 一 些 不 用 “高 ”“ 低 ”描述 音调 的 种 族 仍然 存在 音调 与 空间 位 
置 的 跨 通 道 对 应 (Parkinson et al., 2012)， 而 一 些 尚 未 习 得 语言 的 婴儿 也 表现 出 视听 跨 通道 对 


= 应 (Dolscheid et al., 2014; Walker et al., 2010)。 当 然 目前 研究 结果 并 不 否认 语义 编码 可 能 在 跨 
Si 通道 对 应 中 发 挥 作用 。 本 研究 中 的 跨 通 道 对 应 是 两 个 基本 刺激 特征 (音调 、 空 间 位 置 ) 之 间 

z 的 对 应 ， 而 声音 频率 和 视觉 空间 位 置 本 身 就 存在 自然 的 相关 性 (Spence, 2011)， 在 自然 界 中 
> 质量 较 重 的 生物 的 发 声 频 率 往往 较 低 (如 牛 的 叫 声 )， 而 较 重 的 生物 不 太 可 能 存在 于 高 位 置 

5 (如 空中 )。 同 时 ， 人 类 的 喉头 在 发 出 较 低 的 音调 时 下 降 ， 在 发 出 较 高 的 音调 时 上 逢 


(Parkinson et al., 2012)， 这 都 可 能 导致 音调 和 空间 位 置 之 间 存在 感知 上 的 对 应 而 不 需要 通过 
语义 产生 。 而 一 些 不 存在 自然 相关 性 的 刺激 特征 之 间 ， 或 是 更 复杂 的 刺激 之 间 的 跨 通道 对 
应 可 能 需要 语义 编码 来 产生 (Parise & Spence, 2012)。 此 外 ， 以 往 视 上 听 跨 通道 对 应 的 语义 研 
完 中 ， 实 验 任务 鼓励 被 试 进行 语义 编码 (Martino, & Marks, 1999)， 也 可 能 导致 了 语义 在 跨 通 
道 对 应 中 的 作用 增加 。 

以 往 有 研究 者 使 用 信号 检测 论 的 方法 对 响 度 与 亮度 之 间 的 跨 通 道 对 应 进行 研究 ， 发 现 
视听 跨 通 道 对 应 不 影响 被 试 的 知觉 ， 只 影响 被 试 的 决策 标准 (Marks et al., 2003)， 但 这 一 研 
究 与 通常 所 用 的 视听 跨 通 道 对 应 的 范式 不 同 ， 被 试 需要 判断 前 后 两 个 刺激 的 差异 ， 而 非 探 
测 或 辨别 单个 刺激 ， 因 此 可 能 造成 了 行为 反应 更 多 依赖 于 决策 过 程 。 总 之 ， 不 同 刺激 之 间 
的 视听 跨 通道 对 应 可 能 存在 不 同 的 机 制 (Spence, 2011)， 不 同 的 实验 任务 也 可 能 产生 了 不 同 
的 结果 。 


在 实验 1 中 ， 视 听 路 通道 对 应 仅 在 线索 化 位 置 出 现 ， 这 与 部 分 视听 觉 整合 的 研究 结果 
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相 类 似 。 以 往 视听 整合 的 研究 中 ， 有 研究 发 现 IOR 效应 发 生 时 ， 线 索 化 位 置 的 视听 觉 整合 
效应 更 大 ( 唐 晓 雨 等 ,2020)， 研 究 者 使 用 反比 效应 原则 对 于 结果 进行 解释 ， 即 视 、 听 感觉 
音 号 的 输入 强度 会 影响 视听 觉 整 合 效应 的 大 小 。 根 据 反 比 效应 原则 (Otto et al., 2013)， 视 觉 
或 听觉 感觉 信号 输入 强度 弱 时 ， 视 听觉 整合 效应 更 大 ， 而 视觉 或 听觉 感觉 信号 输入 强度 强 
时 ， 视 听觉 整合 效应 更 小 (Senkowski et al., 2011)。 反 比 效 应 原则 最 初 是 在 动物 的 单 神经 元 


研究 中 发 现 的 (Meredith & Stein, 1983; Stein & Meredith, 1993)， 行 为 和 神经 上 的 研究 表明 人 
类 被 试 的 多 感觉 反应 增强 仍然 遵循 这 一 原则 (Rach et al., 2011; Senkowski et al., 2011; van de 
Rijt et al., 2019)。 反 比 效 应 原则 本 质 上 反映 的 是 更 弱 的 元 余 性 信息 引发 了 更 强 的 整合 。 本 研 
究 的 视听 跨 通道 对 应 中 ， 尽 管 视 、 听 刺激 在 形式 上 是 非 元 余 性 的 ， 但 有 研究 者 认为 这 些 刺 
激 处 于 心理 坐标 中 的 相同 一 端 ， 如 高 音 和 高 空间 位 置 都 意味 着 相 比 于 低音 和 低空 间 位 置 更 
“高 ”的 一 端 (MecCormick et al., 2018)， 因 此 可 能 存在 共同 的 神经 编码 ， 产 生 了 宛 余 性 ， 因 
而 反比 效应 原则 可 能 也 适用 于 视听 路 通 道 对 应 。 当 IOR 效应 发 生 时 ， 线 索 化 位 置 的 目标 感 
知觉 显著 性 降低 (Slagter et al., 2016)， 视 觉 信号 输入 减弱 ， 因 而 产生 了 稳定 的 视听 跨 通 道 对 
应 效应 ， 而 非 线 索 化 位 置 相 对 高 的 目标 感知 觉 显著 性 没有 产生 视听 跨 通 道 对 应 效应 。 
实验 3 的 结果 发 现 ， 随 着 IOR 效应 减弱 ， 线 索 化 位 置 的 视听 跨 通道 对 应 效应 也 相应 减 
弱 ， 同 时 ，IOR 效应 对 于 视听 跨 通 道 对 应 的 调节 作用 减弱 ， 表 现 为 线索 有 效 性 与 跨 通道 对 
应 一 致 性 之 间 的 交互 作用 不 显著 (线索 有 效 条 件 下 的 跨 通道 对 应 效应 与 线索 无 效 条 件 没有 显 
著 差 异 )， 直 接 验证 了 反比 效应 原则 对 于 视听 跨 通道 对 应 的 适用 性 。 在 多 感觉 反应 增强 的 研 


Z 究 中 ， 反 比 效应 原则 不 仅 存 在 于 无 意义 的 视 、 听 刺激 整合 中 (Senkowski et al., 2011), EF 
ET 在 于 多 感觉 输入 下 的 言语 知觉 中 (van de Rijt et al., 2019)， 研 究 者 发 现 无 论 是 听觉 输入 还 是 


视觉 输入 ， 更 难以 感知 的 单词 输入 引发 了 更 大 的 多 感觉 反应 增强 。 目 前 的 研究 结果 支持 视 
听 跨 通道 对 应 的 发 生 也 符合 反比 效应 原则 ， 扩 展 了 反比 效应 原则 在 多 感觉 反应 增强 领域 的 
适用 范围 。 

研究 同样 发 现 ， 视 听 跨 通道 对 应 也 对 TOR 效应 产生 了 影响 。 具 体 来 讲 ， 当 SOA 为 600 
ms 时 ， 无 论 在 实验 1 还 是 实验 3 中 ， 跨 通道 对 应 一 致 条 件 下 的 IOR 效应 量 都 显著 小 于 对 
应 不 一 致 条 件 ， 这 是 由 于 听觉 刺激 与 视觉 目标 之 间 的 跨 通 道 对 应 增加 了 视觉 目标 的 感知 党 
显著 性 ， 部 分 抵消 了 IOR 效应 导致 的 目标 感知 觉 显著 性 降低 。 而 随 着 SOA 延长 ， 跨 通道 
对 应 一 致 条 件 下 的 IOR 效应 和 不 一 致 条 件 没有 显著 差异 。 这 是 由 于 长 SOA 下 ， 视 听 路 通 
道 对 应 效应 减弱 ， 进 而 抵抗 IOR 效应 的 能 力也 随 之 降低 ， 从 而 使 得 不 同 对 应 一 致 性 条 件 下 
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的 TOR 效应 无 显著 差异 。 
目前 研究 是 第 一 个 探究 IOR 效应 与 视听 跨 通 道 对 应 之 间 关 系 的 研究 。 因 此 本 研究 需要 
确保 实验 中 的 交互 作用 的 确 是 由 IOR 效应 对 于 视听 跨 通道 对 应 进行 调节 所 产生 的 。 实 验 2 
在 实验 1 其 他 条 件 保持 不 变 的 基础 上 ， 通 过 操纵 听觉 刺激 是 否 出 现 ， 来 探究 单纯 的 声音 哇 
现在 本 研究 中 的 影响 。 由 于 视听 跨 通 道 对 应 是 一 种 相对 的 映射 (Chiou & Rich, 2012)， 需 要 
两 个 有 相对 高 、 低 关系 的 音调 才能 与 高 、 低 位 置 相对 应 ， 因 此 单独 的 纯音 不 会 引发 视听 跨 
道 对 应 。 结 果 发 现 IOR 效应 与 听觉 刺激 是 否 出 现 不 存在 交互 作用 。 实 验 2 的 结果 一 方面 
验证 了 单纯 的 声音 呈现 不 会 与 IOR 效应 产生 交互 ， 只 有 听觉 刺激 与 视觉 刺激 发 生 跨 通道 对 
应 才 会 与 IOR 效应 产生 交互 。 另 一 方面 表明 听觉 刺激 所 产生 的 警觉 效应 没有 和 IOR 效应 产 
互 ， 排 除了 警觉 效应 对 于 实验 结果 可 能 存在 的 混淆 。 有 研究 表明 ， 听 觉 刺 激 产 生 的 警 
觉 效应 会 提高 被 试 的 感知 能 力 (Kusnir et al., 2011)， 并 与 目标 的 感知 觉 显 著 性 产生 交互 作用 
(Botta et al., 2017)， 表 现 为 感知 显著 性 更 高 的 目标 产生 了 更 大 的 警觉 效应 。 来 自行 为 和 神经 


上 的 证 据 表 明 ， 和 警觉 效应 也 会 与 空间 注意 产生 交互 (Botta et al ., 2014; 2017)， 警 觉 效应 相关 


L 
mT 


的 唤醒 系统 (arousal system) 会 与 注意 系统 存在 补偿 机 制 (Fischer et al. 2008; Portas et al. 
1998)。 但 实验 2 结果 表明 ， 在 目前 研究 中 警觉 效应 与 外 源 性 线索 引发 的 TOR 效应 缺乏 交 
互 作用 。 这 一 方面 可 能 由 于 ， 以 往 研究 所 比较 的 是 阅 上 、 阔 下 和 浆 刺 激 与 警觉 效应 之 间 的 
相互 作用 (Botta et al., 2017; Chica et al ., 2016)， 而 本 研究 中 视觉 目标 出 现在 线索 化 位 置 和 非 
线索 化 位 置 都 完全 可 见 ，IOR 效应 发 生 所 导致 的 目标 感知 显著 性 的 差异 不 足以 引发 警觉 交 
应 的 调节 。 另 一 方面 可 能 是 警觉 效应 和 IOR 效应 沿 着 不 同 的 神经 通路 独立 发 生 。 尽 管 有 研 
究 表 明 ， 警 觉 效 应 和 TOR 效应 都 影响 刺激 的 感知 觉 显著 性 (Botta et al., 2014; Prime & 
Jolicoeur, 2009)， 且 都 与 额 顶 网 络 的 激活 有 关 (Bourgeois et al., 2012; Kusnir et al., 2011)， 但 
警觉 效应 是 以 一 种 自 上 而 下 的 方式 增加 对 于 刺激 的 感知 Kusnir et al., 2011)， 即 通过 激活 个 
体 的 额 项 网 络 以 放大 输入 刺激 的 强度 ;而 外 源 性 线索 引发 的 IOR 以 自 下 而 上 的 方式 影响 被 
试 的 知觉 (Berdica et al., 2017; Jia et al., 2019)， 通 过 调节 输入 刺激 的 强度 ， 影 响 早期 视觉 区 
域 对 于 额 顶 网 络 的 投射 (Botta et al., 2014)。 当 然 ， 警 觉 效 应 与 IOR 效应 之 间 的 关系 需要 神 
经 水 平 上 的 进一步 的 探究 。 目 前 的 研究 排除 了 警觉 效应 对 于 结果 的 影响 ， 支 持 了 音调 与 空 
间 位 置 之 间 的 视听 器 通道 对 应 发 生 在 知觉 水 平 的 观点 。 


is 
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IOR 效应 对 于 视听 跨 通 道 对 应 产生 了 调节 作用 ，IOR 发 生 时 线索 化 位 置 出 现 了 稳定 的 
视听 跨 通 道 对 应 效应 ， 而 非 线 索 化 位 置 没 有 出 现 。 听 觉 刺 激 引 发 的 警觉 效应 没有 与 TOR 效 
应 产生 交互 。 随 着 TOR 效应 的 减弱 ， 线 索 化 位 置 的 视听 跨 通道 对 应 效应 也 随 之 减弱 ， 
TOR 效应 对 于 视听 跨 通道 对 应 的 调节 作用 减弱 。 当 前 研究 结果 支持 了 听觉 音调 与 视觉 空间 
位 置 之 间 的 视听 跨 通 道 对 应 发 生 在 知觉 水 平 ， 且 视听 跨 通 道 对 应 的 发 生 符 合 反 比 效应 原 


则 。 
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Abstract 

Different dimensions of visual and auditory stimuli can map to each other to influence human 
behavioral responses, a phenomenon known as audiovisual cross-modal correspondence. A common 
audiovisual cross-modal correspondence is between auditory tones and visual spatial locations, with 
individuals tending to map high-pitched sounds to high spatial location and low-pitched sounds to 
low spatial location. When a high-pitch sound is accompanied or preceded by a visual stimulus, the 
participants respond faster to visual stimuli presented in the high spatial location than to visual 
stimuli presented in the low spatial location, and vice versa. Researchers have different views on 
the level at which audiovisual cross-modal correspondence occurs. Some argue that audiovisual 
cross-modal correspondence occurs at the perceptual level, increasing the perceptual saliency of the 
stimulus, while others argue that audiovisual cross-modal correspondence occurs at a later semantic 
or decision level. As inhibition of return (IOR) in the attentional system can affect human perception, 
this study used a cue-target paradigm to explore the interaction between IOR and audiovisual cross- 
modal correspondence to elucidate the occurrence level and mechanism of audiovisual cross-modal 
correspondence. Audiovisual cross-modal correspondence between auditory tones and visual spatial 
locations was expected to occur at the perceptual level and therefore would be subject to the IOR 
effect occurring at the same processing level. 

The present study consisted of 3 experiments. Experiment 1 had a 2 x 2 within-subjects design; 
we manipulated the spatial cue validity (valid cue vs. invalid cue) and audiovisual cross-modal 
correspondence (congruent vs. incongruent). During the experiment, a fixation point was first 
presented in the middle of the screen for 750 ms. The box above or below the fixation point was 
then bolded for 50 ms, but this cue was not predictive of the spatial location of the target. After a 


time interval of 250 ms, a fixation point was presented in bold as a central cue. A central cue is 
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commonly used in spatial IOR research, as it facilitates stable occurrence of IOR. The central cue 
was presented for 50 ms, and then the auditory stimulus (either high or low pitch) was presented for 
50 ms. After a 200-ms interval, the visual target was presented for 100 ms in the box above or below 
the fixation point. The participants were instructed to perform a detection task for the presence of a 
visual target. The experimental design and procedure of Experiment 2 were identical to those of 
Experiment 1, except that the sound presented before the visual target was a single tone that was 
present or absent. Experiment 3 had a 2 x 2 x 2 within-subjects design. Experiment 3 added a factor 
to Experiment 1, namely, stimulus onset asynchrony (SOA) between the cue and the target (600 ms 
vs. 1300 ms). 

In all three experiments, the overall accuracy (ACC) was very high; thus, no further statistical 
analysis was conducted for the ACC. In terms of reaction time (RT), the results of Experiment 1 
showed that both spatial IOR and audiovisual cross-modal correspondence occurred. Importantly, 
there was an interaction between spatial cue validity and audiovisual cross-modal correspondence. 
Specifically, when the cue was valid, audiovisual cross-modal correspondence occurred, and when 
the cue was invalid, there was no audiovisual cross-modal correspondence. The results of 
Experiment 2 showed that the interaction between cue validity and sound presentation was not 
significant, and there was no evidence that IOR influenced the sound-induced facilitation effect. 
The results of Experiment 3 showed that the interaction among spatial cue validity, cross-modal 
correspondence congruency, and SOA was significant. Specifically, at an SOA of 600 ms, the 
interaction between spatial cue validity and cross-modal correspondence congruency was 
significant. When the cue was valid, audiovisual cross-modal correspondence occurred, and when 
the cue was invalid, there was no audiovisual cross-modal correspondence. At an SOA of 1300 ms, 
the interaction between cue validity and cross-modal correspondence congruency was not 
significant, and cross-modal correspondence occurred in both valid-cue and invalid-cue conditions. 
The results of the analysis of the IOR effect showed that the IOR effect under the 600-ms SOA 
condition (22 ms) was significantly larger than that under the 1300-ms SOA condition (16 ms). As 
the SOA increased, the IOR effect size decreased. 

In conclusion, the present results suggested that the IOR effect, occurring at the perceptual 


level, moderated audiovisual cross-modal correspondence. When the IOR effect occurred, 
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audiovisual cross-modal correspondence occurred in the cued location, but not in the non-cued 
location. The alerting effect induced by the sound did not interact with IOR. With the weakening of 
the IOR effect, the audiovisual cross-modal correspondence in the cued location decreased, and the 
moderating effect of the IOR effect on audiovisual cross-modal correspondence weakened. The 
present results support that the audiovisual cross-modal correspondence between auditory tones and 
visual spatial locations occurs at the perceptual level, and the occurrence of audiovisual cross-modal 
correspondence conforms to the principle of inverse effectiveness. 
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